ReViCo: Unveiling the Limitations of VLMs in Visual Text Understanding via Error Correction
通过视觉文本纠错揭示视觉语言模型在图像文本理解上的局限
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, CAS, Beijing, China · School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China · Fanyu AI Laboratory, Zhongke Fanyu Technology Co., Ltd, Beijing, China · Mohamed bin Zayed University of Artificial Intelligence
提出 ReViCo 基准,以视觉文本纠错任务评估 VLM 对图像内文字及其视觉上下文的理解能力
📌 工作参考价值(4 点)
- 电商/广告图像中大量文字(价格、促销、成分、资质)是决策关键。可借鉴 ReViCo 的视觉文本纠错任务,构建内部“商品图文字纠错”评测集,重点考察模型对价格数字、折扣文案、生产日期等易错文本的识别与修正能力。
- 业务用 VLM 做图文理解或信息抽取时,不要只依赖 OCR 指标;应增加“给出错误位置+修正结果”的输出要求,暴露模型在视觉上下文中误读文本的问题,降低后续 Agent 或推荐链路中的错误传播。
- 若需要快速提升,可参考其 targeted training 范式:用少量带标注的视觉文本纠错数据微调多模态模型,尤其针对业务中高频图像模板(banner、主图、详情页)提升鲁棒性;同时保留 prompt-based 基线做对比。
- 评估结果提示,即使 SOTA VLM 也可能误解图像内文字,设计 Agent 工作流时应增加校验环节,比如让模型输出原文与修正后文本,再由规则或 OCR 引擎交叉验证。